Title: Psychology / Diagnostik II / 05_BeobachterübereinstimmungI

Q: Beobachter- und Beurteilerübereinstimmungen können verwendet werden, um statistische Analysen zur [...] oder [...] durchzuführen.
A: Objektivität; Reliabilität

Q: Bei welcher Art von Variablen werden prozentuale Übereinstimmungen, Cohens Kappa, Scotts Pi und Odds Ratio und Yules Y (ausschließlich) verwendet?
A: Diskrete Variablen mit zwei Antwortkategorien

Q: Was sind 3 typische Maße für die Beobachter- und Beurteilerübereinstimmung von diskreten Variablen mit 2 Antwortkategorien?
A: 1. Prozentuale Übereinstimmung
2. Cohens κ / Scotts π
3. Odd's Ratio / Yules Y

Q: Wie berechnet man die prozentuale Übereinstimmung?
A: ( Häufigkeit der Übereinstimmung / Anzahl aller Urteile ) * 100

Q: Prozentuale Übereinstimmung kann irreführend sein, wenn [...].
A: Merkmale sehr häufig/sehr selten beobachtet werden können
Extra: → Interpretierbarkeit hängt von Basisrate ab

Q: Welche Verbesserung gegenüber der prozentuale Übereinstimmung bieten Cohens κ und Scotts π?
A: Sie beachten zusätzlich die bei Zufall erwartete Übereinstimmung (→ Basisrate hat weniger starken Einfluss)

Q: Was ist der Wertebereich von Cohens κ und Scotts π?
A: -1 bis +1

Q: Wie unterscheiden sich Cohens κ und Scotts π?
A: Cohens κ: Schätzung der erwarteten Übereinstimmung aus den kombinierten Randsummen
Scotts π: Schätzung der erwarteten Übereinstimmung aus den (quadrierten) mittleren Randsummen

Q: Nach welchem grundlegenden Prinzip werden bei Cohens κ und Scotts π die erwartete Übereinstimmung berechnet?
A: Summe aus: Wahrscheinlichkeit einer zufälligen "positiven" Übereinstimmung + Wahrscheinlichkeit einer zufälligen "negativen" Übereinstimmung

Q: Wie würde man mit der folgenden Tabelle die erwartete Übereinstimmung bei Zufall (für Cohens κ) berechnen?
A: (E*G)+(F*H)
→ kombinierte Randhäufigkeit

Q: Wie würde man mit der folgenden Tabelle die erwartete Übereinstimmung bei Zufall (für Scotts π) berechnen?
A: ((E+G)/2)^2 + ((F+H)/2)^2
→ mittlere Randhäufigkeiten

Q: Wie errechnen sich Cohens κ und Scotts π (wenn die erwartete Übereinstimmung bei Zufall P_E bereits errechnet ist)?
A: P_0: Prozentuale Übereinstimmung
(P_0 - P_E) / (1 - P_E)

Q: Was bedeuten negatives Cohens κ / Scotts π?
A: Übereinstimmung schlechter als zufällig

Q: Wann kann man von einer schwachen Übereinstimmung bei Cohens κ / Scotts π sprechen?
A: 0.40 - 0.59

Spezielle Eigenschaften von Cohens κ:
- Ein Wert von 1 kann nur erreicht werden, wenn die Randverteilungen gleich sind.
- Ein Wert von -1 kann nur erreicht werden, wenn alle vier Randsummen gleich sind.

Q: Welche 2 Fehlerquellen kann man bei der Beobachterübereinstimmung generell betrachten?
A: Unterschiedliche Strenge (Wahrnehmungsschwellen)
Mangelnde Konsistenz

Q: Woran lässt sich eine unterschiedliche Strenge der Bewerter bei diskreten Daten mit zwei Kategorien erkennen (in der Tabelle) ?
A: Ungleiche Randverteilungen

Q: Woran lässt sich eine mangelnde Konsistenz der Bewerter bei diskreten Daten mit zwei Kategorien erkennen (in der Tabelle) ?
A: Absolute Übereinstimmung ist abweichend, obwohl die Randverteilungen gleich sind

Q: Cohens κ und Scotts π sind [...] Maße. Das heißt, dass sie [...].
A: unjustierte; unterschiedliche Wahrnehmungsschwellen der Rater bestrafen
Extra: → wenn die Randverteilungen unterschiedlich sind, sind unjustierte Koeffizienten kleiner als justierte

Q: Innerhalb der unjustierten Maße: [...], so fällt [...] höher aus als [...].
A: Sind die Randverteilungen ungleich; Cohens κ; Scotts π
Extra: → Unterschiedliche Wahrnehmungsschwellen werden bei Scotts π stärker bestraft

Q: Was ist damit gemeint, dass Cohens κ und Scotts π "bereinigt" sind?
A: Bei Zufall erwartete Übereinstimmung ist (teilweise) rausgerechnet

Q: Wie hängen die Werte von Cohens κ / Scotts π und die Basisrate zusammen?
A: Cohens κ / Scotts π sind abhängig von der Basisrate.
Aber andersherum (und schwächer) als bei prozentualer Übereinstimmung: Wenn die Merkmale sehr häufig oder sehr selten vorkommen, dann ist die bei Zufall erwartet Übereinstimmung sehr hoch und Cohens κ / Scotts π werden sehr klein.

Q: Was ist der grundlegende Unterschied von Odds Ratio / Yules Y zu Cohens κ / Scotts π?
A: Odds Ratio / Yules Y sind justiert

Q: Odds Ratio / Yules Y sind [...] Maße. Das heißt, sie betrachten nur die [...].
A: justierte; Konsistenz von Beobachtenden

Q: Wie berechnet man die Odds Ratio?
A: Odds_Übereinstimmung / Odds_NichtÜbereinstimmung
( (++)*(--) ) / ( (+-)*(-+) )
( ͡° ͜ʖ ͡°)

Q: Was ist der Wertebereich der Odds Ratio?
A: 0 bis Unendlich

Q: Wie werden die verschiedenen Werte der Odds Ratio (<1, =1, >1) als Übereinstimmungsmaß interpretiert?
A: q < 1: Systematische Nicht-Übereinstimmung
q = 1: Zufall
q > 1: Systematische Übereinstimmung

Q: Was ist Yules Y?
A: Normierte Odds Ratio

Q: Wie lautet die Formel für Yules Y?
A: Odds Ratio: q
Yules Y = (sqrt(q)-1) / (sqrt(q)+1)

Q: Cohens κ, Scotts π und Yules Y sind nur bei [...] gleich (=[...])
A: symmetrischen Kontingenztafeln; alle Randsummen sind gleich

Q: Wie hängen Basisrate und Odds Ratio / Yules Y zusammen?
A: Odds Ratio / Yules Y sind robust gegenüber Veränderungen der Basisrate

Q: (Unjustierte Größen:) Sollen unterschiedliche Wahrnehmungsschwellen der Rater besonders bestraft werden, dann sollte [...] verwendet werden, ansonsten [...].
A: Scotts π; Cohens κ

Q: (Nominalskaliert:) Spielt nur die Konsistenz des Ratings eine Rolle, dann sollte [...] verwendet werden.
A: Yules Y

Q: Wenn Yules Y hoch ist, aber Cohens κ / Scotts π nicht, dann weiß man, dass [...].
A: die Konsistenz okay ist, aber die Wahrnehmungsschwellen oder die Basisrate ein Problem sind

Q: Wann ist Scotts π größer als Cohens κ?
A: Nie

Q: Was ist der mögliche Wertebereich der Odds Ratio bei systematischer Übereinstimmung?
A: (ausgeschlossen) 1 bis unendlich (ausgeschlossen)

Q: Was ist der mögliche Wertebereich der Odds Ratio bei systematischer Nicht-Übereinstimmung?
A: 0 bis 1 (ausgeschlossen)

Q: Wie kann man die Odds Ratio einfach in Worten ausdrücken?
A: Faktor, um den die Chance für ein positives Urteil höher ist, wenn ein Beobachter bereits ein positives Urteil (im Vergleich zu einem negativen Urteil) vergeben hat